package com.bigdata.spark.core.rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @author Gerry chan
 * @version 1.0
 * 2020/12/24
 */
object Spark02_RDD_File_Par {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf()
      .setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(sparkConf)
    //从文件中 数据作为处理的数据源
    //textFile可以将文件作为数据处理的数据源，默认也可以设置分区
    //minPartitions: 最小分区数量，
    //math.min(defaultParallelism, 2)
    //也可以通过第二个参数指定最小分区数量
    val rdds: RDD[String] = sc.textFile("datas",3)
    rdds.collect().foreach(println)

    sc.stop()
  }
}
